LLM スコアラ

AI eval ツール: Autoevals — SaaS 不要の OSS LLM スコアラ

2026年4月8日

Autoevals は Braintrust が公開している OSS の LLM スコアラライブラリで、SaaS アカウントなしで Python / TypeScript から利用できます。本稿では、Factuality、Battle、ClosedQA、Humor、Security、SQL、Translation といった LLM-as-a-judge 系と、ExactMatch、Levenshtein、JSONDiff などのヒューリスティック系の両方を取り上げ、最小動作例、独自スコアラの書き方、DeepEval や Ragas との棲み分けを整理します。あわせて、chaff grade のような決定論的スコアラと組み合わせることで、意見と事実を分けて測る実践パターンも紹介します。